Competence-Gated Pooling of Language Models and Priors for Event Forecasting
基于能力门控的 LLM 与先验融合预测
🧭 LLM 预测融合与门控校准
University of Illinois Urbana-Champaign
提出 competence gate 依据边际价值选择性融合 LLM 与外部先验，显著降低 Brier 损失
📌 工作参考价值（4 点）
- 在多信号融合场景（如商品 CTR 预估中融合 LLM 打分与传统模型打分），不要只看单个模型 AUC，改用历史 outcome 估计每个源的边际贡献（例如增量 NDCG 或 Brier），并按领域/场景学习一组 gate 权重，对不确定的领域权重向全局权重 shrinkage，避免小样本过拟合。
- 当外部先验信号较强（如成熟推荐系统、市场预测）时，可让 gate 学会 defer，而非强制融合；在 baseline 很强时 LLM 融合可能无显著收益，可提前做 ablation/显著性检验决定是否上线复杂的混合模块。
- 论文发现 verbal confidence（模型自己说“置信度”）不能可靠判断模型何时优于外部预测，因此别用 LLM 输出的“信心分”作为路由/采纳依据；应基于可观测结果（如成交、点击后的 label）回估 competence，驱动 abstention 或降权。
- 融合后对 pooled forecast 做 recalibration（如 temperature scaling / isotonic regression）是低成本的稳定提升，尤其在各源校准不一致时；部署时可作为标准后处理。